Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.

受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。

线性系统的迭代求解器是部分微分方程（PDE）的数值解的关键组件。过去几十年来一直进行了深入的研究，例如雅各比，高斯 - 塞德尔，共轭梯度，跨部方法及其更高级的变体，但仍有迫切需要开发更快，更强大和更可靠的求解器。基于操作员回归的科学深度学习的最新进展，我们提出了一种提示，即用于微分方程的混合，迭代，数值和可转移的求解器。提示结合了标准放松方法和深层操作员网络（DeepOnet）。与标准数值求解器相比，提示能够为宽类微分方程提供更快的解决方案，同时保留接近机器零的精度。通过本本征分析，我们发现提示中的单个求解器靶向本征谱系中的不同区域，从而导致均匀的收敛速率，从而使混合求解器的整体表现出色。此外，提示适用于多维方程，并且在计算域和可转移到不同离散化方面具有灵活性。

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

许多遗传突变会不利地影响承重软组织的结构和功能，临床后遗症通常导致残疾或死亡。遗传学和组织力学表征的平行进步为这些条件提供了重要的见解，但是仍然需要整合此类信息。我们提出了一种新型的基因型到生物力学 - 原型神经网络（G2 {\ phi}净），用于表征和分类软组织的生物力学特性，这些特性是组织健康或疾病的重要功能读数。我们通过推断涉及细胞外成分缺陷或缺陷的四种小鼠模型的非线性，依赖基因型依赖性的本构行为来说明我们的方法的实用性。我们表明，G2 {\ phi} net可以通过利用有限，嘈杂和非结构化的实验数据来正确归因于相关的基因型，同时归因于相关的基因型。更广泛地说，G2 {\ phi}网络提供了一种强大的方法和范式转移，用于定量地将基因型和生物力学表型相关联，并有望更好地理解它们在生物组织中的相互作用。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

相位场建模是一种有效但计算昂贵的方法，用于捕获材料中的中尺度形态和微观结构演化。因此，需要快速且可推广的替代模型来减轻计算征税流程的成本，例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架，该框架将卷积自动编码器架构与深神经操作员（DeepOnet）集成在一起，以了解两相混合物的动态演化，并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成，一个用于编码固定数量的传感器位置（分支网）的输入函数，另一个用于编码输出功能的位置（TRUNK NET），了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后，卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后，可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。

社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。

深入学习被证明是通过物理信息的神经网络（PINNS）求解部分微分方程（PDE）的有效工具。 Pinns将PDE残差嵌入到神经网络的损耗功能中，已成功用于解决各种前向和逆PDE问题。然而，第一代Pinns的一个缺点是它们通常具有许多训练点即使具有有限的准确性。在这里，我们提出了一种新的方法，梯度增强的物理信息的神经网络（GPInns），用于提高Pinns的准确性和培训效率。 GPInns利用PDE残差的梯度信息，并将梯度嵌入损耗功能。我们广泛地测试了GPinns，并证明了GPInns在前进和反向PDE问题中的有效性。我们的数值结果表明，GPInn比贴图更好地表现出较少的训练点。此外，我们将GPIn与基于残留的自适应细化（RAR）的方法组合，一种用于在训练期间自适应地改善训练点分布的方法，以进一步提高GPInn的性能，尤其是具有陡峭梯度的溶液的PDE。

由于其出色的近似功率和泛化能力，物理知识的神经网络（PINNS）已成为求解高维局部微分方程（PDE）的流行选择。最近，基于域分解方法的扩展Pinns（Xpinns）由于其在模拟多尺度和多体问题问题及其平行化方面的有效性而引起了相当大的关注。但是，对其融合和泛化特性的理论理解仍未开发。在这项研究中，我们迈出了了解XPinns优于拼接的方式和当Xpinns差异的初步步骤。具体地，对于一般多层PinNS和Xpinn，我们首先通过PDE问题中的目标函数的复杂性提供先前的泛化，并且在优化之后通过网络的后矩阵规范结合。此外，根据我们的界限，我们分析了Xpinns改善泛化的条件。具体地，我们的理论表明，XPinn的关键构建块，即域分解，介绍了泛化的权衡。一方面，Xpinns将复杂的PDE解决方案分解为几个简单的部分，这降低了学习每个部分所需的复杂性并提高泛化。另一方面，分解导致每个子域内可用的训练数据较少，因此这种模型通常容易过度拟合，并且可能变得不那么广泛。经验上，我们选择五个PDE来显示XPinns比Pinns更好，类似于或更差，因此证明和证明我们的新理论。